Vào năm 1937 von Neumann, sau khi nhận được quyền công dân Mỹ, bắt đầu nghiên cứu về những vấn đề trong toán ứng dụng. Ông nhanh chóng trở thành một trong những chuyên gia hành đầu trong ngành chất nổ, và đã cố vấn rất nhiều cho quân đội, chủ yếu là Hải quân Hoa Kỳ (có thể là ông thích giao du với các đô đốc hơn là các tướng lĩnh vì nhóm thứ nhất thích uống rượu trong khi nhóm thứ hai chỉ thích cà phê).

Một kết quả chú ý trong ngành chất nổ là khám phá của các loại bom cực lớn có sức công phá nhiều hơn nếu chúng được nổ trước khi chạm đất bởi vì những lực phát sinh thêm do các sóng của vụ nổ (báo chí nói đơn giản hơn là von Neumann tìm ra rằng nên tránh mục tiêu hơn là đâm vào đó). Áp dụng nổi tiếng (hay tai tiếng) nhất của khám phá xảy ra vào ngày 6 và 9 tháng 8 năm 1945, khi hai quả bom nguyên tử phát nổ trên không trung của Hiroshima và Nagasaki, tại một độ cao được tính toán chính xác bởi chính von Neumann để chúng gây ra nhiều thiệt hại nhất.

Von Neumann đã được đưa vào Dự án Manhattan để giúp cho việc thiết kế kính nổ (explosive lense) cần để nén lõi plutonium của thiết bị trong thử nghiệm Trinity và vũ khí "Fat Man" thả xuống Nagasaki.

Từ một quan điểm chính trị, von Neumann là một thành viên của một ủy ban chọn ra các địa điểm có thể là "mục tiêu". Lựa chọn đầu tiên của von Neumann là thành phố Kyoto, bị loại bỏ bởi Bộ trưởng Chiến tranh Henry Stimson.

Sau chiến tranh, Robert Oppenheimer đã đưa ra nhận xét nổi tiếng rằng các nhà vật lý đã có "tội lỗi" do kết quả của việc phát triển những quả bom nguyên tử đầu tiên. Von Neumann trả lời hơi diễu cợt rằng "đôi khi một người thú tội để kể công cho mình." Trong trường hợp nào đi nữa, ông tiếp tục không lay chuyển trong công trình này và cuối cùng, cùng với Edward Teller, là một người duy trì các đề án kế tiếp về việc chế tạo bom hydrogen. Von Neumann đã hợp tác với điệp viên Klaus Fuchs về việc phát triển bom hydrogen, và hai người nộp bằng sáng chế bí mật Improvement in Methods and Means for Utilizing Nuclear Energy (Cải tiến các phương pháp và phương tiện sử dụng năng lượng hạt nhân) vào năm 1946, đưa ra một cách sử dụng vụ nổ bom phân hạt để nén nhiên liệu nhiệt hạch trước khi cố gắng khai hỏa một phản ứng nhiệt hạch. (Herken, pp. 171, 374). Mặc dù đây không phải là lời giải cho thiết kế thành công của bom hydrogen - thiết kế Teller-Ulam - sau này được đánh giá là một bước đi đúng hướng, mặc dù nó không được theo ngay lúc đó.

Các việc làm của von Neumann về bom hydrogen cũng nằm trong lãnh vực máy tính, khi ông và Stanislaw Ulam phát triển các chương trình mô phỏng trên máy tính về một loại máy tính mới của von Neumann cần thiết cho các tính toán thủy động lực học. Trong thời này ông đóng góp vào sự phát triển của phương pháp Monte Carlo, cho phép các bài toán rất phức tạp có thể xấp xỉ thông qua việc sử dụng số ngẫu nhiên. Bởi vì sử dụng danh sách của các số "thực sự" ngẫu nhiên là hết sức chậm trên máy ENIAC, von Neumann phát triển một dạng thô của việc tạo ra các số ngẫu nhiên giả (pseudorandom number), sử dụng phương pháp bình phương giữa. Mặc dù phương pháp này đã bị phê phán sau này là quá thô, von Neumann nhận thức được điều đó vào thời gian đó: ông dùng bởi vì nó nhanh hơn (theo thời gian tính toán) các phương pháp khác mà ông có vào thời điểm đó, và cũng để ý rằng khi phương pháp này cho ra sai số quá lớn, nó rất dễ nhận thấy, không như các phương pháp khác có thể không đúng một cách tinh vi.

Vào năm 1952, quả bom hydrogen đầu tiên, Ivy Mike, được khai hỏa ở Eniwetok Atoll.